Theo ghi chép trong Tống thư, bộ sử sách viết về thời Lưu Tống thì Lưu Dụ là con cháu đời thứ 21 của Sở Nguyên vương Lưu Giao, em trai Hán Cao Tổ[2]. Lưu Giao sinh ra Hồng Ý hầu Lưu Phú, Lưu Phú sinh ra Lưu Tích Cương, Tích Cương sinh ra Dương Thành Mục hầu Lưu Đức, Lưu Đức sinh Lưu An Dân, được kế tập tước hầu, thụy là Tiết. An Dân sinh Dương Thành Hi hầu Lưu Khánh Kị, Khánh Kị sinh ra Túc hầu Lưu Sầm, Sầm sinh ra Lưu Bình, Lưu Bình sinh ra Lưu Mỗ, sau được phong chức Đông Vũ thành lệnh, Mỗ sinh Lưu Cảnh, được phong chức thái thú Đông Lai, Cảnh sinh Lưu Hiệp, Lưu Hiệp sinh Lưu Hoằng, Lưu Hoằng sinh Lưu Khôi, sau giữ chức Lang Nha đô úy. Khôi sinh ra một người con làm Định Tương thái thú thời nhà Ngụy, không rõ tên. Người này sinh ra Lưu Lượng, sinh thời giữ chức Tà Thành lệnh. Lượng sinh Bắc Bình thái thú Lưu Ưng, Ưng sinh ra Lưu Hi, đương thời làm đến chức tướng quốc nước Duyện. Hi sinh Húc Tôn, làm Khai phong lệnh. Húc Tôn sinh Hỗn. Lúc sinh thời, Lưu Hỗn dời từ huyện Đan Đồ về Kính khẩu. Hỗn sinh ra Lưu Tĩnh làm thái thú Đông An. Tĩnh sinh Lưu Kiều. Kiều sinh được ba người con trai, trong đó Lưu Dụ là con trai trưởng[3].

Quê quán của ông được sử sách ghi chép đến 2 nơi, ông cố Lưu Hỗn (劉混) vốn sinh sống ở huyện Đan Đồ, quận Tấn Lăng (nay thuộc Từ Châu, Giang Tô), sau chuyển đến làng Tuy Dư thuộc Kinh Khẩu để tránh chiến loạn vùng Hoa Bắc[4]. Lưu Dụ chào đời vào ngày Nhâm Dần, tháng 3 năm Hưng Ninh thứ nhất thời Tấn Ai Đế (tức 16 tháng 4 năm 363. Tuy nhiên Ngụy thư, chỉ cho biết ông quê ở Đan Đồ và phủ nhận việc ông là con cháu nhà Hán[5]. Lúc nhỏ Lưu Dụ sống trong hoàn cảnh nghèo khổ. Cha của ông là Lưu Kiều kết hôn với mẹ ông, Triệu An Tông vào năm 360. Triệu An Tông hạ sinh Lưu Dụ ba năm sau đó rồi qua đời không bao lâu sau. Lúc sinh Lưu Dụ có một vầng sáng kỳ lạ chiếu vào trong phòng, cha ông cho đó là điềm lành, nghĩ rằng đứa trẻ mới sinh sau này tất sẽ được làm vua, nên đặt tên cho ông là Dụ "裕" (nghĩa là giàu có). Vì cha của ông quá nghèo, không thể nuôi được ông, nên Lưu Dụ đã được người cô ruột của mình nuôi thay. Sau đó, cha của Dụ đã lấy một người vợ khác, tên là Tiêu Văn Thọ, sinh ra 2 đứa con khác là Lưu Đạo Liên và Lưu Đạo Quy. Tuy mặc dù đây là bà mẹ kế, nhưng tính tình hiền hậu, nên Lưu Dụ luôn kính yêu bà như mẹ ruột của mình[6], ngoài ra ông còn có một người anh em họ sống kế bên là Lưu Hoài Túc làm hầu huyện Đông Hưng, giữ chức Tả tướng quân của nhà Đông Tấn cư trú ở làng An Thượng huyện Bành Thành. Khi Lưu Dụ trưởng thành, thì cha của ông mất. Ông là một chàng thanh niên khỏe mạnh, vạm vỡ, dũng cảm, nhưng lại nghèo, ít học. Trong thuở hàn vi như vậy, ông sinh sống bằng nghề bán giày rơm. Nhưng ông có tật xấu là thích đánh bạc[7]. Sau đó, ông tham gia tòng quân, trở thành một tay sai dưới trướng Tôn Vô Chung (孫無終) trong quân Bắc Phủ nhà Đông Tấn (theo Vũ Đế bản kỷ trong Tống thư).

Lưu Dụ từ lúc nhỏ đã tỏ ra là người có tài năng, được Vương Mật, một hậu duệ của danh tướng Vương Đạo kính trọng và khen là một người có tài năng.[8].